Lưu Bang được sinh ra trong một gia đình nông dân ở ấp Phong của huyện Bái (nay là huyện Phong thuộc tỉnh Giang Tô). Tên cha mẹ của ông không được ghi lại trong lịch sử và chỉ được gọi là Lưu Thái Công và Lưu Ảo (刘媪 [12]). Người ta nói rằng mẹ ông do mang thai với rồng mà sinh ra Lưu Bang[13]. Đế Nghiêu, người có nguồn gốc từ Hoàng Đế được tuyên bố là tổ tiên của Lưu Bang, thế nhưng đây là một điểm gây tranh cãi vì hầu hết các gia đình quý tộc của Trung Quốc đều tuyên bố là có nguồn gốc từ Hoàng Đế.[14]

Theo Sử ký Tư Mã Thiên, Lưu Bang có mũi cao, râu dài giống rồng và có 72 nốt ruồi trên chân trái.[13] Ông không lo nghĩ đến sản nghiệp, không câu nệ chuyện nhỏ nhặt. Tính tình tuy khá buông thả (Sử ký mô tả là "thích rượu và gái"),[15] song lại thẳng thắn, lôi cuốn, lại biết nhẫn nhục và khoan dung.

Lưu Bang từng phải đi phu ở Hàm Dương và trông thấy xa giá và nghi trượng của vua Tần Thủy Hoàng. Khi đó Lưu Bang cảm khái đã nói một câu:"Ôi! Đại trượng phu phải sống như thế chứ!". Sau đó, Lưu Bang làm Đình trưởng ở Tứ Thượng, dần dần ông quen biết và thân thiện với những người như Hạ Hầu Anh, Tiêu Hà, Tào Tham. Trong khi uống rượu với bạn bè của mình trong các quán rượu địa phương, họ thường nhận thấy hình bóng của một con rồng trên người Lưu Bang bất cứ khi nào ông say rượu.[16] Các chủ quán rượu cảm thấy Lưu Bang là một người phi thường và thường cho ông uống rượu miễn phí. Trong một buổi tiệc chiêu đãi lớn như vậy, cha của Lã Trĩ là Lã Công cho là Lưu Bang sẽ làm nên nghiệp lớn, nên đã đem Lã thị thành hôn với Lưu Bang, sinh được một con gái (Lỗ Nguyên Công chúa) và một con trai tên là Lưu Doanh.